Video clip của "Come On Over Baby (All I Want Is You)" được thực hiện bởi đạo diễn Paul Hunter. Video rất thành công trên TRL khi đạt vị trí #1 trên bảng xếp hạng này nhiều ngày liền. Video được xem là một trong những video phổ biến nhất của Aguilera từ trước đến nay.

Video bắt đầu với cảnh Aguilera ngồi trên một chiếc ghế bành nghe điện thoại. Sau khi nghe xong, Aguilera bước lên giường cùng các bạn và tiếng nhạc bắt đầu nổi lên. Aguilera xuất hiện trong trang phục áo yếm hở rốn, quần bó có chẻ hông ôm sát thân người cùng mái tóc highlight và cách trang điểm đậm chất Latin. Aguilera đứng hát trước một phông nền bằng vải trắng và cùng các vũ công nhảy múa. Ở đoạn bridge, Aguilera bước xuống từ cầu thang màu đỏ tiếp tục nhảy múa sau khi phiêu một đoạn cực đỉnh. Cảnh cuối cùng, tất cả các vũ công đồng loạt giơ những tấm bìa mình cầm trên tay tạo thành bức hình Aguilera tuyệt đẹp. Troong video còn có cảnh Aguilera xuất hiện trong trang phục áo vàng, quần xanh và mái tóc được đánh xoăn ôm ấp chàng vũ công đang kéo tuột xích áo của mình đã gây phản cảm cho nhiều người.